植物物联网-全时序表型监测系统PhenoSight是一个物联网（IoT）支持的表型测量平台，设计简单易用，可广泛应用于任何环境。并配套一个自动化田间控制系统、高通量性状分析算法和基于机器学习的建模，以管理和处理平台生成的数据，从而探究基因型、表型和环境之间的动态关系。

PhenoSight需要对试验田进行小区划分，建议以1米*2米为单位，PhenoSight由服务器和终端节点组成，物联网化主要取决于两者之间的连接。PhenoSight服务器本身也是一台测量设备，同时可以连接9个终端节点，这就形成了实施方案示意图中的小区分型（如下图红框所示）。其中红色单元为服务器，蓝色单元为终端节点。每台服务器和终端节点均安置有可见光成像单元，而每台服务器可外接温湿度传感器、土壤参数传感器、叶绿素荧光传感器等，可在测量植物表型的同时，将环境因子加入到植物生长的模型中去，从而除了能够测量表型参数外，还可以实现对该环境条件下该植物的生长情况进行预测，对指导农业生产具有重大意义。所有PhenoSight数据均可以传送到云端，进行云处理。

PhenoSight平台结构

PhenoSight软件GUI

（从图例可看出PhenoSight可实现植物表型测量与环境参数测量的同步，并通过机器学习构建生长模型）

      1 主要功能

Ÿ   实时作物表型监测

通过低成本的田间终端工作站，自动化实时持续监测作物生长和发育；

Ÿ   综合的田间气象监测

记录一系列气象数据：光合有效辐射，空气温、湿度，土壤温度、湿度与电导率等；

Ÿ   高通量分析流程

高通量处理和量化作物生长模型和适应性表现；

Ÿ   高光谱测量

可对小区进行高光谱测量，分析相关内含物的量

Ÿ   植物气孔表型测量

系统以现代物联网技术为基础，耦合多机位气孔连续监测终端，开发深度学习图像分析算法，可实现大规模、多物种的气孔监测终端的集群部署

Ÿ   水稻开花时序分析

可对水稻开花时序进行分析

      2 主要优势

Ÿ   性能：实时田间分析

Ÿ   机动性：易于安装和使用

Ÿ   可负担性：竞争性低成本

Ÿ   耐用性：持续在田间条件下作业

Ÿ   预测性：结合表型数据及环境因子数据，可实现对未来植物生长情况的预测

      3 应用领域

Ÿ   小区株型、株高、冠层、冠层紧密度、叶片颜色、叶片大小等测算；

Ÿ   植物生长动态变化、生长速率研究，如植物生育期开花变化监测；

Ÿ   植物环境响应研究 (需要开发)，如干旱、灌溉、施肥等生理研究；

Ÿ   可进行基于机器学习的可扩展的表型分析；
Ÿ   加入GxE，基因型和环境互作；

在英国诺维奇科研院中使用的物联网分布式表型监测PhenoSight系统

      4 硬件配置

Ÿ   PhenoSight服务器

Ø  基于移动ARM处理器

Ø  通过4G网络实时上传环境参数与图像

Ø  与终端节点局域网通讯

Ø  允许扩展使用外接传感器设备

Ÿ   PhenoSight终端节点

Ø  800万像素RGB图像

Ø  IP66防护等级，防尘防雨

Ÿ   环境参数传感器

Ø  Soil - 土壤三参数：

Ø  Air - 空气温湿度

              温度：-20～100℃；

              相对湿度：0～100%；

              精确度：10~55℃时，±0.3℃，±2.5%的相对湿度；

Ø  Light – 光合作用有效光辐射

              0-2500μMol/m²s, ±5%；

Ø  高光谱测量模块

光谱范围：400-1000 nm

Ø  气孔测量模块

可监测物种：小麦、水稻、玉米、棉花和油菜等作物；银杏、梧桐、桃树等林木等的气孔

       5 软件配置

Ÿ   PhenoSight软件包：图像捕获、初始质量控制与数据备份

Ø  基于Linux的操作系统Debian ：运行数据传输与远程控制

包含两个服务器，NetATalk和VNC服务器，以便于田间数据传输和远程系统控制，这允许用户通过无线（使用平板电脑或智能手机）或有线连接（使用笔记本电脑）连接到每个PhenoSight终端。

Ø  基于GUI的成像程序：实现实时系统交互

将其添加到软件包中，以控制RGB或NoIR相机模块，用于延时（time-lapse）作物监测。该程序可以自动检测给定PhenoSight终端的IP地址，以便将该终端与其田间试验的特定实验ID相关联。之后，程序要求用户通过GUI对话框指定诸如基因型（品种）、生物学重复和成像持续时间等信息，用户可以在其中启动图像采。

Ø  picamera软件包：自动调整白平衡，曝光模式和快门速度

根据不同的现场照明条件，使用一个纯Python接口以连接到树莓派Raspberry Pi相机硬件。如果用户可以修改图像分辨率和成像频率。

Ÿ   PhenoMonitor：集中控制系统

Ø  PhenoMonitor系统提供中央实时监控系统，以管理PhenoSight终端工作站，记录在线或离线状态、操作模式、日常图像、微环境和计算资源，并整理收集数据，以便可视化、批处理和注释。

Ÿ   图像选择算法：用于获取目标图像

Ø  通过将图像与一些固定标准进行比较，对田间试验中捕获的大型图像数据集进行快速评估。

Ø  通过将图像转换为HSV色彩空间（HSV colour space）来获取像素强度的中值；通过对图像应用Sobel边缘检测来确定图像清晰度；通过图像测试可见区域内的阴影百分比。

Ø  一旦所有比较都通过了，所选图像就包含在结果文件夹中，其中带有CSV文件记录图像元数据，用于进一步的高通量图像分析。

Ÿ   小区检测算法：用于检测被监测小区的初始参考位置

Ø  基于HSV(色调、饱和度和数值)和Lab非线性色彩空间（Lab non-linear colour space），利用基于颜色的特征选择来识别标杆（视距尺）上的白色参考杆(小区范围)和黑暗高度标记的坐标。

Ø  使用非监督式的机器学习技术，如K-Means和光谱聚类，将像素分成不同的组，如天空、小区之间的土壤、作物冠层、阴影和小区领域。

Ø  在检测出图像中的初始参考对象之后，建立了一个虚拟3D参考系统，通过一系列特征选择方法记录了小区范围、冠层区域和高度标记的2D坐标。像素度量转换也基于标杆（视距尺）上的高度标记来计算。

Ÿ   PhenoMeasurer算法：

Ø  采用自适应强度和动态伽马均衡来调整颜色和对比度，以最小化由不同田间照明引起的颜色失真。

Ø  跟踪给定图像和初始位置上的小区之间的几何差异。如果不同，将应用几何变换方法重新校准图像，该方法移除小区范围之外的区域，并且可以在给定图像的顶部生成不同大小的黑条。

Ø  通过检测标杆（视距尺）的可见部分来跟踪作物高度，并通过组合的自适应阈值和本地的Otsu阈值方法来定义冠层区域。

Ø  应用Harris和ShiTomasi角点检测方法对冠层区域内的尖角特征点进行定位。生成红色虚拟点来表示直立叶的顶端、弯曲叶的反射表面、头部和穗头上的角点。

Ø  基于优化的Canny边缘检测方法，对给定小区的主要方向进行量化，该方法计算作物茎秆的对齐度。

Ÿ   数据内插与分析：

Ø  用来处理田间试验中小的数据损失。

Ø  使用三次样条插值方法36来填补表型数据集中的缺失

Ÿ   G x P x E相互作用模型

Ø  用于探究基因型（品种）作物生长记录与若干环境因素之间的相互作用。

Ø  用记录的生长数据对每三天分组的环境因子进行相关分析。将环境因素归入嵌套的三天周期可去除异常值并平滑输入数据。

Ø  使用公式(eRGR)-1来转移负相关值，因为相对生长速率(RGR)系列是相对于生长阶段的增加性质而言的递减序列，获得RGR与环境因子之间的动态关系。

Ø  基于显著的环境因素，选择单个线性回归模型来估计与给定田间环境条件相关的多个基因型（品种）的RGR。

Ø  应用连续的应用程序ht=ht-1(1+yt)，得到随时间变化的植物高度。

Ÿ   生长阶段预测模型：

Ø  基于真实生长性状和环境数据，探究如何预测小麦不同基因型生长阶段模型。

Ø  采用支持向量机（SVM）与径向基函数的内核分类生长阶段，并使用 SVMs的机器学习技术以用于分类。

6 高光谱测量模块

高光谱模块是一款以农作物参量光谱提取技术为核心，综合运用传感器、自动测量、自动控制和网络通讯等技术，对农作物进行在线实时综合评价的长势监测诊断仪。野外作物生长监测实时诊断仪通过测量作物冠层光谱反射率来快速、实时、无损获取作物生长信息，包括作物叶层氮含量、叶层氮积累量、叶面积指数、叶干重、叶绿素a、肥力诊断等生长指标。克服了传统作物生长信息获取中需要田间采样、室内分析等繁琐过程。

完整的野外作物生长监测实时诊断仪系统包括野外作物生长监测实时诊断仪和数据分析云服务两部分。作物长势监测仪可以实现在固定位置实时获取光谱数据，然后基于仪器内置的处理器调用相关模型算法进行实时解译反演，解算出农作物的长势监测指标（作物叶层氮含量、叶层氮积累量、叶面积指数、叶干重、叶绿素a、肥力诊断等），将这些数据上传至云平台的数据中心，实现24小时实时在线监测结果显示、病害缺肥自动预警等功能。

设计思路

性能优势

Ø  无人值守、定点监测

Ø  低成本、多指标，架设方便

Ø  秒级实时监测，智能预警

Ø  激光定位、辅助摄像，所见即所得

Ø  两维角度调整(360度+180度)

技术参数

Ø  光谱范围：400-1000 nm

Ø  光谱分辨率：1 nm

Ø  数据位深：16位

Ø  采集视场角：25°

Ø  最小采样间隔：1 min

Ø  通讯接口：4G、网口

Ø  供电电压：12 V

Ø  功耗：10 W

Ø  工作温度：0℃ — 50℃

Ø  设备尺寸（直径×高度）：206 mm×330 mm

Ø  安装接口尺寸：100*100 mm (4xφ7通孔)

Ø  重量：5.5 kg

Ø  辅助功能：激光定位、辅助摄像、两维角度调整

Ø  选配组件：太阳能板，30Ah锂离子电池（定时采集可续航20天）

Ø  内置模型：作物叶层氮含量、叶层氮积累量、叶面积指数、叶干重、叶绿素a、肥力诊断等

Ø  模型准确度：80%-95%

  7 气孔表型测量模块

气孔是植物蒸腾时水分从体内排到体外的主要出口，也是光合及呼吸作用与外界气体交换的主要通道，影响植物的光合、呼吸及蒸腾等过程，影响着全球的碳水循环。

HT-1820植物气孔原位动态表型监测系统是一款用于活体植物气孔动态表型监测的设备，具有实时成像、同步分析、操作便捷等特点，可实现24小时昼夜不间断的气孔行为观测与实时图像解析，为微观视野下的植物气孔响应干旱等逆境胁迫的表型分析提供了低成本、全自动、高通量的活体无损检测方案。系统以现代物联网技术为基础，耦合多机位气孔连续监测终端，开发深度学习图像分析算法，可实现大规模、多物种的气孔监测终端的集群部署。广泛应用于小麦、水稻、玉米、棉花和油菜等作物；银杏、梧桐、桃树等林木。

主要参数

l  功率：40W；

l  重量：5Kg

l  显微镜尺寸：长12cm，宽3.6cm

l  工作温度：-10℃~40℃；

l  相对湿度：40%~80%无凝结；

l  采样频率：5~30帧/秒；

l  作业范围：单叶尺度；

l  数据格式：AVI、MP4等格式；

l  分辨率：1600×1200, 1280×1024dpi

l  可监测物种：小麦、水稻、玉米、棉花和油菜等作物；银杏、梧桐、桃树等林木

分析指标

应用案例

南京农业大学小麦耐渍栽培试验田气孔观测集群

发表文献

1. 孙壮壮，姜东*，蔡剑，王笑，周琴，黄梅，戴廷波，曹卫星. 单子叶作物叶片气孔自动识别与计数技术[J]. 农业工程学报, 2019. 35(23).

2. Zhuangzhuang Sun, Yunlin Song, Qing Li, Jian Cai, Qin Zhou, Mei Huang,  Dong Jiang*. An integrated method for tracking and monitoring stomata dynamics from microscope videos . Plant Phenomics, 2021, 9835961.

3.In situ determination of stomatal dynamic behavior in wheat elucidates drought priming mechanisms，Under review.

4.Revealing circadian rhythm of stomatal movement based on video data in situ and deep learning in wheat ((Triticum aestivum L.)，Preparation.